When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models
组合 LLM 何时有效？对路由、投票与智体混合的共同失败天花板分析
🧭 多模型 LLM 集成评估 · 共同失败率上限
KAIKAKU
多模型 LLM 增益上限由所有模型全错的 β 率决定，而非平均错误相关性 ρ，67 模型实验发现 β 被低估约 2.5 倍
📌 工作参考价值（4 点）
- 在推荐系统的多模型集成（多召回/多排序融合）前，估计共同失败率 β，直接判断增益天花板，避免在 β 较高的场景中投入无效集成。
- 选择集成模型时，主动降低 β 而非只看平均错误相关性 ρ；优先选择低 ρ 的异质模型组合，远离高 ρ 自集成（如 Self-MoA），以提升集成上限。
- 若无法实现精确的查询级路由（如实时预测每条 query 的最佳模型），应谨慎使用投票或级联，单最佳模型可能更优；可利用 Clopper–Pearson 原理用少量带标注样本评估集成潜力。
- 评估多路召回或 LLM 投票策略时，直接统计所有通道同时失效的样本比例（即 β），针对这些“硬样本”做定向优化，如增加多样性信号或引入外部校验。